The Data-Dependence Graph of Adjoint Programs

Automatic Di erentiation is a technique that permits generation of adjoint programs, which compute gradients. In scienti c computation, these gradients are a fundamental tool for optimization or data assimilation. Computation of a gradient is relatively expensive, and should therefore be optimized whenever possible. The study of these program optimizations is most often based on the data-dependence graph. Under precise assumptions, we prove that the adjoint program's data-dependence graph is isomorphic to a sub-graph of the original data-dependence graph. The proof relies on a re ned de nition of the notion of data-dependence, and on a formal de nition of adjoint programs in terms of products of local Jacobian matrices. This theorem can be used to transpose optimizations of the original program, to the adjoint program. It can also justify speci c transformations on the adjoint. We give some examples of such applications. Key-words: Automatic Di erentiation, Adjoint, Gradients Computation, Optimization, Data-Dependence, Parallellization Le graphe de dépendance des données des programmes adjoints Résumé : La Di érentiation Automatique est une technique de génération de programmes adjoints, qui calculent des gradients. En calcul scienti que, ces gradients sont une information essentielle pour l'optimisation ou l'assimilation de données. Le calcul d'un gradient est une opération relativement chère, qu'il est souhaitable d'optimiser. L'un des outils fondamentaux pour ce type d'optimisation de programmes est le graphe de dépendances de données. Sous des hypothèses que nous précisons, nous montrons que le graphe de dépendance des données correspondant au programme adjoint est isomorphe à un sous-graphe du graphe de dépendance des données du programme initial. La démonstration s'appuie sur une dé nition ra née de la notion de dépendance de données, et sur la dé nition formelle des programmes adjoints en termes de produits de matrices jacobiennes élémentaires. Ce théorème permet de transposer pour le programme adjoint certaines transformations possibles sur le programme initial, mais aussi d'appliquer des optimisations spéci ques. Nous en donnons quelques exemples pour des optimisations courantes. Mots-clés : Di érentiation Automatique, Adjoints, Calcul des Gradients, Optimisation, Dépendance des Données, Parallélisation DDG of Adjoint Programs 3